SequenceO1: End-to-End Ultra-Long (100K) Sequence Modeling in Recommendation with Low-Rank Caching
SequenceO1：基于低秩缓存的推荐系统端到端 100K 序列建模
🧭 超长序列推荐 · 低秩缓存 ★ 深度解读
ByteDance
用 Sketch Attention 将 100K 用户历史压缩为固定大小可缓存 sketch，结合两时间尺度 STCA 与缓存复用，实现端到端超长序列推荐
📌 工作参考价值（5 点）
- 超长历史压缩为可缓存 sketch：用 learnable prototypes + prototype-wise softmax 把 100K 行为序列压缩成固定大小（如 1K×128）的 user-only sketch。相比 token-wise softmax，prototype-wise 归一化避免早期 token 选择、保证全局覆盖，适合作为跨目标/请求复用的长期兴趣表征。电商/广告场景可直接替换 TWIN V2 这类两阶段 lifelong 模块，减少离线聚类+检索的系统复杂度。
- 训练/推理缓存复用：训练侧 local KVCache 以 userID + model version + history timestamp 为 key，TTL 失效 + 容量淘汰；同用户多请求用 MRLB 分组，只算一次 sketch。推理侧同样缓存，命中时无需再读取/传输 100K 原始特征，路径成本 O(1)。这是把长序列建模从学术可行变成生产可用的关键。
- 两时间尺度推理：近期 10K 后缀走 STCA 捕捉 recency，超长 sketch 走 STCA 捕捉长期偏好，再轻量 fusion。这个结构比单一路径更贴合真实用户行为，且近期分支成本可控。
- FlashSA 工程实现：融合 kernel 流式计算 prototype-token affinities，不物化 k×n 中间矩阵，降低显存和内存带宽。对任何需要把长序列压缩成固定表示的模块都适用。
- 对 Agent/LLM 长期记忆启发：固定大小、用户侧、可缓存的 sketch 可作为用户长期记忆压缩层，Agent 或 LLM 检索增强推荐时，可以缓存该 sketch 避免重复处理长上下文，与 pipeline lift 结合可进一步隐藏延迟。